Graph Neural Networks (GNNs), originally proposed for node classification, have also motivated many recent works on edge prediction (a.k.a., link prediction). However, existing methods lack elaborate design regarding the distinctions between two tasks that have been frequently overlooked: (i) edges only constitute the topology in the node classification task but can be used as both the topology and the supervisions (i.e., labels) in the edge prediction task; (ii) the node classification makes prediction over each individual node, while the edge prediction is determinated by each pair of nodes. To this end, we propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE). Concretely, we first introduce an edge splitting technique to specify use of each edge where each edge is solely used as either the topology or the supervision (named as topology edge or supervision edge). We then develop a new message passing mechanism that generates the messages to source nodes (through topology edges) being aware of target nodes (through supervision edges). In order to emphasize the differences between pairs connected by supervision edges and pairs unconnected, we further weight the messages to highlight the relative ones that can reflect the differences. In addition, we design a novel negative node-pair sampling trick that efficiently samples 'hard' negative instances in the supervision instances, and can significantly improve the performance. Experimental results verify that the proposed method can significantly outperform existing state-of-the-art models regarding the edge prediction task on multiple homogeneous and heterogeneous graph datasets.
translated by 谷歌翻译
异质图神经网络(GNNS)在半监督学习设置中在节点分类任务上实现了强大的性能。但是,与更简单的GNN案例一样,基于消息的异质GNN可能难以在抵抗深模型中发生的过度厚度与捕获长期依赖关系图表结构化数据之间进行平衡。此外,由于不同类型的节点之间的异质关系,这种权衡的复杂性在异质图中复杂化。为了解决这些问题,我们提出了一种新型的异质GNN结构,其中层来自降低新型关系能量函数的优化步骤。相应的最小化器相对于能量函数参数是完全可区分的,因此可以应用双光线优化来有效地学习功能形式,其最小值为后续分类任务提供了最佳节点表示。特别是,这种方法使我们能够在不同的节点类型之间建模各种杂质关系,同时避免过度平滑效果。 8个异质图基准的实验结果表明,我们提出的方法可以达到竞争性节点分类的精度。
translated by 谷歌翻译
具有数值节点特征和图形结构的图形神经网络(GNNS)作为输入显示出具有图形数据的各种监督学习任务的卓越性能。但是,GNN使用的数值节点特征通常是从大多数真实世界应用中的文本或表格(数字/分类)类型的原始数据中提取的。在大多数标准监督的学习设置中,使用IID(NON-GRAPH)数据的最佳模型不是简单的神经网络层,因此不容易被纳入GNN。在这里,我们提出了一个强大的堆叠框架,该框架将图形感知的传播与用于IID数据的任意模型融合在一起,这些模型是在多层中结合并堆叠的。我们的层面框架利用行李和堆叠策略来享受强有力的概括,从而有效地减轻了标签泄漏和过度拟合的方式。在各种具有表格/文本节点特征的图形数据集中,我们的方法相对于表格/文本和图形神经网络模型以及将两者结合的现有最新混合策略而获得了可比性或卓越的性能。
translated by 谷歌翻译
对表格数据的预测是许多重要的下游任务中的必要和基本问题。但是,现有方法要么将表的数据实例独立作为输入而独立使用,要么不完全利用多排功能和标签来直接更改和增强目标数据表示。在本文中,我们建议1)从相关数据实例检索中构建一个超图,以建模这些实例的跨行和跨柱模式,以及2)执行消息传播以增强目标数据实例表示表格预测任务。具体而言,我们专门设计的消息传播步骤受益于1)在传播过程中融合标签和特征,以及2)局部感知的高阶特征交互。在两个重要的表格数据预测任务上进行的实验验证了所提出的PET模型与其他基线的优越性。此外,我们证明了模型组件的有效性以及通过各种消融研究和可视化的PET的特征增强能力。该代码包含在https://github.com/kounianhuadu/pet中。
translated by 谷歌翻译
从成对比较中恢复全球排名从时间同步到运动队排名的广泛应用。对应于竞争中匹配的成对比较可以解释为有向图(Digraph)中的边缘,其节点代表例如竞争对手的排名未知。在本文中,我们通过提出所谓的Gnnrank,这是一种基于Digraph嵌入的基于训练的GNN框架,将神经网络引入排名恢复问题。此外,设计了新的目标来编码排名upsess/违规行为。该框架涉及一种排名得分估计方法,并通过展开从可学习的相似性矩阵构建的图形的fiedler矢量计算来增加电感偏差。广泛数据集的实验结果表明,我们的方法具有竞争性,并且通常对基准的表现卓越,并且表现出了有希望的转移能力。代码和预处理数据为:\ url {https://github.com/sherylhyx/gnnrank}。
translated by 谷歌翻译
图形神经网络(GNNS)在学习的图形结构化数据中显示了包含节点/边缘特征信息的图表,应用于社交网络,推荐,欺诈检测和知识图形推理。在这方面,过去已经提出了各种策略,以改善GNN的富有效率。例如,一个简单的选项是通过扩展HID-DIN维度或增加GNN层的数量来简单地增加参数大小。然而,更宽的隐藏层可以容易地导致过度拟合,逐步添加更多GNN层可能导致过度的过度。在本文中,我们提出了一种模型 - 不可知方法,即图形神经网络(NGNN)中的网络,允许任意GNN模型通过使模型更深的模型来提高模型容量。然而,除了添加或加宽GNN层,NGNN通过在每个GNN层内插入非线性前馈神经网络层来加深GNN模型。在OGBN - 产品数据上应用于Graphsage基础GNN的NGNN分析表明它可以将模型保持对节点特征或图形结构扰动的稳定性。此外,对节点分类和链路预测任务的广泛评估结果表明,NGNN在不同的GNN架构上可靠地工作。对于实例,它可以提高OGBN-Products上的GraphSage的测试精度,并提高了@ 100分数ogbl-ppa上的密封率为7.08%,并且Propsage + Edge-Attr在ogbl-ppi上的Hits @ 20分数达到6.22%。在此提交时,它实现了OGB链路预测排行榜上的两个第一个位置。
translated by 谷歌翻译
已经观察到图形神经网络(GNN)有时难以在跨节点上建模的长距离依赖性之间保持健康的平衡,同时避免了诸如过天平的节点表示的非线性后果。为了解决这个问题(以及其他事情),最近提出了两个单独的策略,即隐含和展开的GNN。前者将节点表示作为深度平衡模型的固定点,其可以有效地促进横跨图形的任意隐式传播,具有固定的存储器占用。相反,后者涉及将图形传播作为应用于某些图形正则化能功能的展开渐变迭代处理。在这种情况下激励,在本文中,我们仔细阐明了这些方法的相似性和差异,量化了他们所产生的解决方案的明确情况实际上是等同的,而行为发散的其他方法。这包括分析会聚,代表能力和解释性。我们还提供各种综合和公共现实世界基准的经验性头脑比较。
translated by 谷歌翻译
尽管近期图形神经网络(GNN)成功,但常见的架构通常表现出显着的限制,包括对过天飞机,远程依赖性和杂散边缘的敏感性,例如,由于图形异常或对抗性攻击。至少部分地解决了一个简单的透明框架内的这些问题,我们考虑了一个新的GNN层系列,旨在模仿和整合两个经典迭代算法的更新规则,即近端梯度下降和迭代重复最小二乘(IRLS)。前者定义了一个可扩展的基础GNN架构,其免受过性的,而仍然可以通过允许任意传播步骤捕获远程依赖性。相反,后者产生了一种新颖的注意机制,该注意机制被明确地锚定到底层端到端能量函数,以及相对于边缘不确定性的稳定性。当结合时,我们获得了一个非常简单而强大的模型,我们在包括标准化基准,与异常扰动的图形,具有异化的图形和涉及远程依赖性的图形的不同方案的极其简单而强大的模型。在此过程中,我们与已明确为各个任务设计的SOTA GNN方法进行比较,实现竞争或卓越的节点分类准确性。我们的代码可以在https://github.com/fftyyy/twirls获得。
translated by 谷歌翻译
图表神经网络(GNN)最近被出现为用于将深网络架构应用于图形和关系数据的车辆。然而,考虑到较大的工业数据集的大小,在许多实际情况下,通过GNN层共享信息所需的消息不再可扩展。虽然已经引入了各种采样方法以在贸易预算范围内接近全图培训,但仍然存在未解决的并发症,如高差异和有限的理论保证。为了解决这些问题,我们建立在现有的工作并将GNN邻居采样视为多武装的强盗问题,但是具有新设计的奖励功能,介绍了一定程度的偏差,旨在减少方差,避免不稳定,可能无界的支付。与之前的强盗 - GNN用例不同,所产生的政策导致接近最佳的遗憾,同时占SGD引入的GNN培训动态。从实际的角度来看,这转化为较低的差异估计和竞争或卓越的测试准确性,跨几个基准。
translated by 谷歌翻译
In this paper, we propose a novel technique, namely INVALIDATOR, to automatically assess the correctness of APR-generated patches via semantic and syntactic reasoning. INVALIDATOR reasons about program semantic via program invariants while it also captures program syntax via language semantic learned from large code corpus using the pre-trained language model. Given a buggy program and the developer-patched program, INVALIDATOR infers likely invariants on both programs. Then, INVALIDATOR determines that a APR-generated patch overfits if: (1) it violates correct specifications or (2) maintains errors behaviors of the original buggy program. In case our approach fails to determine an overfitting patch based on invariants, INVALIDATOR utilizes a trained model from labeled patches to assess patch correctness based on program syntax. The benefit of INVALIDATOR is three-fold. First, INVALIDATOR is able to leverage both semantic and syntactic reasoning to enhance its discriminant capability. Second, INVALIDATOR does not require new test cases to be generated but instead only relies on the current test suite and uses invariant inference to generalize the behaviors of a program. Third, INVALIDATOR is fully automated. We have conducted our experiments on a dataset of 885 patches generated on real-world programs in Defects4J. Experiment results show that INVALIDATOR correctly classified 79% overfitting patches, accounting for 23% more overfitting patches being detected by the best baseline. INVALIDATOR also substantially outperforms the best baselines by 14% and 19% in terms of Accuracy and F-Measure, respectively.
translated by 谷歌翻译